RefDecoder: Enhancing Visual Generation with Conditional Video Decoding
RefDecoder：条件视频解码增强视觉生成
🧭 条件视频解码器架构优化
University of Washington · University of North Carolina at Chapel Hill
为视频VAE解码器注入参考图像条件，绕过潜在信息瓶颈，显著提升重建保真度与生成一致性
📌 工作参考价值（4 点）
- 条件解码器即插即用：RefDecoder 可无缝替换已有视频生成管线（如 Wan 2.1）的解码器，无需重新训练扩散模型，工程实现成本低，适合快速提升线上视频生成质量。
- 高保真参考信号注入：通过参考注意力将原始图像细节直接送入解码过程，避免了 VAE 潜在压缩导致的信息丢失，该思想可迁移至电商商品图/视频的高细节重建，改善纹理、文字等易损失元素。
- 轻量级参考编码器设计：采用独立的小网络将参考帧映射为细节 token，与潜在 token 在解码器各上采样阶段协同处理，可借鉴到多模态生成任务中，如 Agent 根据一张高质量参考图指导视频生成或虚拟试穿。
- 多任务泛化能力：在风格迁移、视频编辑等任务上表现良好，可赋能电商素材的自动化精修、换背景、风格化等场景，减少人工后期成本，提升内容生产效率。